Tướng Phạm Minh Tâm kết hôn với bà Võ Thị Mai. Sau khi về hưu, hai người chuyển đến sống tại Đà Nẵng. Khi ông vừa bị đột quỵ vào năm 2020, thượng tướng Nguyễn Huy Hiệu đã cử ngay một bác sĩ giỏi của Bệnh viện Trung ương Quân đội 108 cấp tốc vào Đà Nẵng chữa trị ban đầu cho ông. Nguyên Bí thư Lê Khả Phiêu, thượng tướng Nguyễn Khắc Nghiên – nguyên Tổng tham mưu trưởng Quân đội nhân dân Việt Nam, Đinh Thế Huynh – Ủy viên Bộ Chính trị, Thường trực Ban Bí thư Trung ương Đảng – cùng nhiều người từng là đồng đội hay cấp dưới của ông năm xưa cũng đến thăm ông khi có dịp.[14]